Hầu tước Louvois sinh ngày 18 tháng 1 năm 1641 ở Paris và là con trai của Michel Le Tellier[2], với bà Élisabeth Turpin[3]. Michel Le Tellier là một trong những người giàu có và quyền lực nhất ở Pháp lúc đó, ông là Đại thần Quốc vụ chiến tranh, học trò thân cận của Hồng y Jules Mazarin và được cho là người sẽ kế nhiệm vị trí đại thần đầu triều của Mazarin.[4] Bà Élisabeth Turpin là con gái của Jean Turpin, uỷ viên hội đồng quốc gia và lãnh chúa Vauvredon.[5]

Tuy nhiên, Michel Le Tellier hiểu rằng vua Louis XIV không muốn các đại thần có quyền lực chống đối lại sự cai trị của mình. Để tránh sự nghi ngờ của nhà vua, Le Tellier một mặt tỏ ra khiêm nhường và không tham lam quyền lực, mặt khác ông cố gắng đào tạo Louvois thành người kế nghiệp xứng đáng mà nhà vua có thể chấp nhận. Việc dạy dỗ này không hề dễ dàng vì ban đầu Louvois là người có bản tính phóng đãng, biểu hiện kém cỏi, học vấn cũng không xuất sắc. Le Tellier đã phải dùng đến biện pháp mạnh: ông gửi con trai mình vào làm việc trong bộ chiến tranh và bắt cậu phục tùng kỷ luật nghiêm khắc. Thuốc đắng của Le Tellier đã tỏ ra hiệu quả, Louvois được trui rèn thành một người chăm chỉ làm việc, tự tin vào năng lực bản thân và có kinh nghiệm phong phú về mặt quản lý quân sự.[4]